Năm 1936, ông tham gia phong trào học sinh yêu nước ở Nam Trực, bị chính quyền thực dân Pháp bắt giam năm 1937. Sau khi ra tù năm 1940, ông về Hải Phòng sau đó đáp tàu vào Nam Kỳ. Năm 1941, ông đăng lính khố đỏ, làm đến chức đội (tương đương Hạ sĩ). Là một người có tư tưởng yêu nước, tiến bộ, thích thơ văn, ông được các ông Hoàng Văn Thụ (khi đó là trưởng ban binh vận) và ông Trường Chinh trực tiếp vận động tham gia Hội Quân nhân Cứu quốc (một tổ chức con của Mặt trận Việt Minh) và được kết nạp vào Đảng Cộng sản Đông Dương năm 1942. Năm 1943, ông bị chính quyền thực dân Pháp bắt giam lần thứ hai kết án 20 năm tù khổ sai và đày ra Côn Đảo.